Năm 1954, Bộ trưởng Bộ Công an Trần Quốc Hoàn chỉ đạo Giám đốc Công an Thành phố Hà Nội Nguyễn Văn Long nghiên cứu thành lập một đội bóng đá.[1]

Thành lập ngày 10 tháng 10 năm 1956 có lẽ chỉ sau Thể Công, đội đã lập tức chứng tỏ được vị thế của mình là đối thủ xứng tầm nhất của đội bóng giàu thành tích khoác áo lính ngay khi Thể Công làm mưa làm gió trong làng cầu khu vực phía Bắc. Được biết đến với lối chơi phòng ngự phản công, đội luôn là một đối thủ khó chịu với mọi đội bóng mạnh, nhưng lại thi đấu tương đối thất thường khi chơi với các đội bóng yếu hơn. Có lẽ vì vậy mà bảng thành tích của đội chưa xứng tầm với thực lực và truyền thống mà đội sở hữu.

Nửa cuối thập niên 90 của thế kỷ 20 có thể nói là một thời kỳ đáng tiếc của đội bóng khi với một dàn cầu thủ tương đối đồng đều tuy nhiên đội lại được biết đến nhiều hơn về những scandal về cá độ và vay mượn điểm hơn là những thành tích trên sân cỏ. Năm 1992, đội thi đấu yếu kém, phải xuống thi đấu ở hạng A1. Mùa giải 1995, đội lại giành được quyền thăng hạng Nhất.